最近的研究提出了一系列针对深度任务模型的专业优化算法。通常声称这些多任务优化（MTO）方法产生的解决方案优于仅通过优化任务损失的加权平均值而获得的解决方案。在本文中，我们对各种语言和视觉任务进行大规模实验，以检查这些主张的经验有效性。我们表明，尽管这些算法的设计和计算复杂性增加了，但MTO方法并未产生超出传统优化方法可实现的性能的任何改进。我们强调了替代策略，这些策略始终如一地提高性能概况，并指出可能导致次优效果的常见训练陷阱。最后，我们概述了可靠地评估MTO算法的性能并讨论潜在解决方案的挑战。

在本文中，我们分享了我们努力建立能够翻译一千多种语言的实用机器翻译（MT）系统的发现。我们在三个研究领域中描述了结果：（i）通过利用半监督预训练的语言识别和开发数据驱动的过滤技术来构建1500多种语言的清洁，网挖数据集； （ii）通过利用大规模的多语言模型来开发用于服务不足的语言的实用MT模型，该模型训练了有监督的并行数据，以使用100多种高资源语言和单语言数据集，以增加1000多种语言； （iii）研究这些语言的评估指标的局限性，并对我们MT模型的输出进行定性分析，突出显示了这些类型模型的几种频繁误差模式。我们希望我们的工作为旨在为当前研究的语言构建MT系统的从业者提供有用的见解，并突出显示可以补充Data-Sparse设置中大量多语言模型的弱点的研究方向。

大型语言模型已被证明可以使用少量学习来实现各种自然语言任务的出色表现，这大大减少了将模型调整到特定应用程序所需的特定任务培训示例的数量。为了进一步了解量表对少量学习的影响，我们培训了一个5400亿个参数，密集激活的变压器语言模型，我们称之为“途径”语言模型棕榈。我们使用Pathways在6144 TPU V4芯片上训练了Palm，这是一种新的ML系统，可在多个TPU POD上进行高效的训练。我们通过在数百种语言理解和产生基准的基准方面实现最先进的学习结果来证明扩展的持续好处。在这些任务中，Palm 540B实现了突破性的表现，在一系列多步推理任务上表现出色，超过了最新的最新表现，并且在最近发布的Big Benchmark上表现优于平均人类表现。大量的大型基础任务显示出与模型量表的不连续改进，这意味着当我们扩展到最大模型时，性能急剧增加。 Palm在多语言任务和源代码生成方面也具有很强的功能，我们在各种基准测试中证明了这一点。我们还提供了有关偏见和毒性的全面分析，并研究了训练数据记忆的程度，相对于模型量表。最后，我们讨论与大语言模型有关的道德考虑，并讨论潜在的缓解策略。

在所有人类语言对之间实现通用翻译是机器翻译的圣杯（MT）研究。虽然最近在大量的多语言MT中的进展是达到这一目标的一步，但它变得明显，即简单地通过在更加平行数据上训练扩展多语言MT系统是不可编译的，因为用于低资源和非英语的标记数据的可用性 - 姓氏对禁止有限。为此，我们展示了一种务实的方法，可以使用监督和自我监督目标的混合来构建涵盖数百种语言的多语种MT模型，具体取决于不同语言对的数据可用性。我们展示这两种训练范例之间的协同作用使模型能够在零资源设置中产生高质量的翻译，甚至超过监控的用于中资和中资和中资质。我们开展广泛的实验，了解多语言监督，域错配和平行和单机数据量的效果，以了解我们自我监督的多语言模型的质量。为了展示方法的可扩展性，我们培训具有200多种语言的模型，并在几个先前研究的语言上展示了对零资源翻译的高性能。我们希望我们的调查结果将成为踏脚石，以便为下一千种语言进行翻译。

具有更多数据，计算和参数的缩放语言模型在自然语言处理方面取得了重大进展。例如，由于缩放，GPT-3能够在内心学习任务上实现强烈结果。但是，培训这些大密度模型需要大量的计算资源。在本文中，我们提出并开发了名为Glam（通用语言模型）的语言模型系列，它使用稀疏激活的专家架构来规模模型容量，同时与致密变体相比，也产生显着更少的训练成本。最大的Glam具有1.2万亿参数，比GPT-3大约为7倍。它仅消耗了用于训练GPT-3的1/3的能量，并且需要一半的计算拖鞋进行推理，同时仍然在29个NLP任务中实现更好的整体零射击和一次性性能。

Scaling up deep neural network capacity has been known as an effective approach to improving model quality for several different machine learning tasks. In many cases, increasing model capacity beyond the memory limit of a single accelerator has required developing special algorithms or infrastructure. These solutions are often architecture-specific and do not transfer to other tasks. To address the need for efficient and task-independent model parallelism, we introduce GPipe, a pipeline parallelism library that allows scaling any network that can be expressed as a sequence of layers. By pipelining different sub-sequences of layers on separate accelerators, GPipe provides the flexibility of scaling a variety of different networks to gigantic sizes efficiently. Moreover, GPipe utilizes a novel batchsplitting pipelining algorithm, resulting in almost linear speedup when a model is partitioned across multiple accelerators. We demonstrate the advantages of GPipe by training large-scale neural networks on two different tasks with distinct network architectures: (i) Image Classification: We train a 557-million-parameter AmoebaNet model and attain a top-1 accuracy of 84.4% on ImageNet-2012, (ii) Multilingual Neural Machine Translation: We train a single 6-billion-parameter, 128-layer Transformer model on a corpus spanning over 100 languages and achieve better quality than all bilingual models.Preprint. Under review.

我们为对抗性多机器人群众跨任务中的决策制定开发了一个有弹性的二进制假设测试框架。该框架利用机器人之间的随机信任观察，以在集中式融合中心（FC）中得出可进行的弹性决策，即使I）在网络中存在恶意机器人，其数量可能大于合法机器人的数量，并且II ）FC使用所有机器人的一次性噪声测量。我们得出两种算法来实现这一目标。第一个是两个阶段方法（2SA），该方法基于收到的信任观察估算机器人的合法性，并证明在最严重的恶意攻击中可最大程度地减少检测错误的可能性。在这里，恶意机器人的比例是已知但任意的。对于不明的恶意机器人，我们开发了对抗性的广义似然比测试（A-GLRT），该测试（A-GLRT）都使用报告的机器人测量和信任观察来估计机器人的可信赖性，其报告策略以及同时的正确假设。我们利用特殊的问题结构表明，尽管有几个未知的问题参数，但这种方法仍然可以计算处理。我们在硬件实验中部署了这两种算法，其中一组机器人会在模拟道路网络上进行交通状况的人群，但仍会受到SYBIL攻击的方式。我们从实际通信信号中提取每个机器人的信任观察结果，这些信号提供有关发件人独特性的统计信息。我们表明，即使恶意机器人在大多数情况下，FC也可以将检测误差的可能性降低到2SA和A-GLRT的30.5％和29％。

光声（OA）成像基于对生物组织的激发，该组织具有纳米持续激光脉冲，然后随后检测通过光吸收介导的热弹性扩张产生的超声波。 OA成像具有丰富的光学对比度和深层组织高分辨率之间的强大组合。这使得在临床和实验室环境中都可以探索许多有吸引力的新应用程序。但是，没有使用不同类型的实验设置和相关处理方法生成的标准化数据集，可以促进OA在临床环境中的更广泛应用中的进步。这使新的和已建立的数据处理方法之间的客观比较变得复杂，通常会导致定性结果和对数据的任意解释。在本文中，我们提供实验性和合成OA原始信号以及带有不同实验参数和层析成像采集几何形状的重建图像结构域数据集。我们进一步提供了训练有素的神经网络，以应对与OA图像处理相关的三个重要挑战，即在有限的视图层析成像条件下准确重建，去除空间不足的采样伪像以及解剖学细分，以改善图像重建。具体而言，我们将与上述挑战相对应的18个实验定义为用于开发更先进处理方法的参考的基准。

我们的工作重点是解决公共图像数据集中数据歧管低密度区域的样本缺陷。我们利用基于扩散过程的生成模型来合成来自低密度区域的新图像。我们观察到来自扩散模型的均匀采样主要是来自数据歧管高密度区域的样品。因此，我们修改采样过程以将其引导到低密度区域，同时保持合成数据的保真度。我们严格地证明我们的过程成功地生成了来自低密度区域的新型高保真样品。我们进一步检查了生成的样品，并表明该模型不会记住低密度数据，并且确实学会了从低密度区域生成新样本。

Large-scale pretraining instills large amounts of knowledge in deep neural networks. This, in turn, improves the generalization behavior of these models in downstream tasks. What exactly are the limits to the generalization benefits of large-scale pretraining? Here, we report observations from some simple experiments aimed at addressing this question in the context of two semantic parsing tasks involving natural language, SCAN and COGS. We show that language models pretrained exclusively with non-English corpora, or even with programming language corpora, significantly improve out-of-distribution generalization in these benchmarks, compared with models trained from scratch, even though both benchmarks are English-based. This demonstrates the surprisingly broad transferability of pretrained representations and knowledge. Pretraining with a large-scale protein sequence prediction task, on the other hand, mostly deteriorates the generalization performance in SCAN and COGS, suggesting that pretrained representations do not transfer universally and that there are constraints on the similarity between the pretraining and downstream domains for successful transfer. Finally, we show that larger models are harder to train from scratch and their generalization accuracy is lower when trained up to convergence on the relatively small SCAN and COGS datasets, but the benefits of large-scale pretraining become much clearer with larger models.